NBeArt Nagy Bea's profile

Audio Visualization in Processing / Object Mapping with

The Open Canvas of Lost Sounds


This submission is a unique collection of audio visualisations, which endeavours to show the underlying beauty of ‘lost sounds’ to individuals with hearing disabilities, while offering a genuine art experience to all audiences. The primary objective is to help the skills development of the deaf and hearing impaired, using auditory verbal methodology, which plays a key role in contemporary educational practices focusing on hearing and speech development. The cognitive representation associated with the processing of sound is caused by changes in the plasticity areas of the brain. The recurring usage of the application helps to bind certain objects, actions and emotions to audio cues and tones.
The visualisation depicts a picture by using a range of musical instruments allowing its user to arbitrarily choose the instrument, which will construct the images and ultimately a coherent animation through a dynamic movement of components following the sequence of sound. By selecting from a predefined colour palette, you can express your colour preferences and your state of emotions, hence, providing feedback about the underlying mood that emerges while interacting with the visualisation.
The individual components of the application implicitly imply the nature and tonality of the underlying musical instruments. These orchestrated components take into account the different attributes of sound – like rhythm, pitch and other key properties – to plot up each individual image. The animation, henceforth, combines the complex auditory sensation and the deeper emotional layers to create this experimental piece of visualisation that should help those with hearing disabilities enjoy the sheer beauty of musical compositions.



Az elveszett hangok képe

A pályamunkám olyan audio vizualizációk gyűjteménye, amely segít a siket embereknek megmutatni az „elvesztett” hangok szépségét. Ugyanakkor minden ember számára szórakoztató látványt nyújt. Az elsődleges cél a siketek készségfejlesztése, auditív-verbális módszerrel, mely a mai hallás- és beszédfejlesztésre specializálódó oktatásban jelentős szerepet játszik. A hanggal összefüggésbe hozható ábrázolási mód az agyi területeken plasztikus elváltozásokat okoz. Az elkészített program többszöri használata elősegíti a hangok tárgyhoz, cselekményhez, érzelemhez és jelen esetben hangszerekhez való kötését.
A vizualizációk megadott hangszerek segítségével mutatnak a nézőnek egy képet, aki tetszés szerint választhat hangszert a felsoroltakból és a program ennek a hangszernek a segítségével bizonyos képeket, összefüggő animációt hoz létre, az elemek hangra történő mozgásának köszönhetően. Kijelölt színek közül lehet választani saját tetszésnek megfelelően és ezzel visszajelzést küldhet arról, milyen színvilág volt számára szimpatikus, illetve a színválasztással megmutathatja milyen érzelmeket keltettek benne a látott képkockák.
A program elemei a hangszerekre utalnak absztrakt módon, mely a hangszer látványvilágát juttatja eszünkbe. A zenére mozgó elemek figyelembe veszik a zene ritmusát, hangmagasságát és egyéb zenei tulajdonságokat, egyedi képeket hoz létre. Az animáció összességében elénk tárja a hallott zene világát és a zene nyújtotta érzéseket kelti bennünk. Ezúton a kísérlet egyaránt mutathatja meg a siket embereknek a zene egyénnek nyújtott szenvedélyét is.
Audio Visualization in Processing / Object Mapping with
Published: